【速览】TMM 2022 | 盲人画家的天使女孩

学会“成果速览”系列文章旨在将图像图形领域会议期刊重要成果进行传播，通过短篇文章让读者用母语快速了解相关学术动态，欢迎关注和投稿~

◆ ◆ ◆ ◆

TMM 2022：盲人画家的天使女孩Hang Liu  ,Menghan Hu  , Yuzhen Chen  , Qingli Li  , Guangtao Zhai  ，Simon X. Yang  ，Xiao-Ping Zhang  ，Xiaokang Yang   华东师范大学，  上海交通大学，  加拿大圭尔夫大学，  加拿大瑞尔森大学TMM 2022撰稿人：蒋政强（盲生）、胡孟晗

*通讯作者：胡孟晗

推荐理事：林宙辰、吕岳原文标题：Angels Girl for Blind Painters: an Efficient Painting Navigation System Validated by Multimodal Evaluation Approach原文链接：https://ieeexplore.ieee.org/document/9695330基金资助：国家自然基金委重点项目（61831015）、上海市教委“晨光学者”计划（19CG27）、重庆市面上项目（CQ cstc2021jcyj-msxmX0816）

◆ ◆ ◆ ◆

摘要

视觉障碍问题是世界上严重的社会和公共卫生问题之一。根据世界卫生组织2017年的统计数据，全球盲人数量为3700万，视力损伤的总人数为1.61亿，其中1.24亿人患低视力[1]。此外，据统计，全球每年新增盲人数量约为100至200万。在我国，约有盲人700万，其他非全盲的视障患者1300多万，数量位居世界第一。随着老龄化进程的加快，视障这个群体仍有进一步扩大的趋势[2]。

由于视觉方面的障碍，视障人士在工作、学习、生活等各个方面都相比于拥有正常视觉的人有更大的压力。这些压力主要体现在行动障碍、阅读障碍、就业障碍、心理障碍，多方面的障碍令视障人士生活的幸福指数极大地下降，从而承受身心上巨大的痛苦。因此，一些研究人员和工程师已经着手开发包括手杖、眼镜、腰部系带在内的辅助设备， 这些设备能够帮助视力受损的人完成一些日常任务，例如室内导航，室外定位和避障。

此外，视障人士对于艺术创作也是同样充满渴望的。目前，还没有面向艺术创作的视障辅助技术相关研究。

盲人画家的天使女孩

绘画能够拓宽思维和提高创新能力。同时，它能够帮助人们流露真实情感，有助于塑造一个乐观向上的心态。很不幸地是，尽管有些视觉障碍人士拥有灵巧手掌，但是由于视觉不便，使得他们通向艺术之路的梦想破碎。他们渴望像列奥纳多·达芬奇一样拿起画笔，挥洒自如，充分发挥自己的才能。然而，来自视觉的障碍使他们的梦想遥不可及！基于此，我们研发的绘画导航系统（图1）能够为视障画家充当“天使的眼睛”，用手中的画笔理解世界。该系统主要通过二维码定位和图像处理技术结合的方式来进行画板的定位和绘画材料的识别、通过微距相机实现画笔颜色的识别、通过自然语言处理技术实现人机的交互。绘画导航系统的演示视频见：https://doi.org/10.6084/m9.figshare.9760004.v1

图 1 盲人画家的天使女孩

该系统有以下功能模块组成：

1）画板定位模块。在实际应用绘画过程中，由于使用者的操作，画板位置会有短时剧烈变动或长时微小移动，需短延时地对画板位置进行获取。ArUco标记是一种类似二维码的编码，其被广泛地用于发现二维世界与三维世界之间的投影关系，进而实现相机校正、姿态估计等应用。ArUco标记由1个黑色边框及内部二进制矩阵组成，故可以被快速识别。因此，在画板四个角设置ArUco标记，配合透视变换算法，来解决画板定位问题。在系统初始化的时候，该模块也可以任何相机角度下对画板进行定位。借鉴网格化思想，在透视转化之后的画板上进行虚拟网格编码，使用户可以迅速掌握笔尖位置具体信息。

2）画笔定位模块。经过微调的Yolo算法可以精确地定位到笔尖区域。但，绘画是一个要求精密性的活动（科学）。Yolo等目标检测算法得到的检测框并不能满足实际绘画的需求。因此，在检测框区域进行边缘检测算子操作，得到笔的轮廓图，再进行曲线拟合，找到拟合曲线的最大曲率，其对应的点即为精确笔尖位置。定位笔尖之后，需要让用户感知笔尖位置。但是，系统通过语音告知的笔尖过去位置和系统检测到的笔尖当前位置之间不可避免地存在延迟。这也是视障辅助系统研发、应用过程中存在的“感知鸿沟”难点。这个难点带来的信息不对称会最终导致系统性能下降、用户体验不佳。为了最大程度地填补外部世界和内部世界的“感知鸿沟”，在目标区域和笔尖当前位置之间设置物理空间“缓冲带”（图2）。该“缓冲带”与笔尖移动速度及方向（可等价于用户的认知空间）存在一个最优解。该映射关系可通过当前信号数据和历史信号数据自适应优化。

图 2 物理空间“缓冲带”示意图

3）语音交互模块。为了提升人机交互效率，虚拟画板被编码成AA、AB等形式。当系统计算出目标位置与笔尖区域的坐标差后，再通过四个语音提示即下、上、左、右用于引导用户将画笔移动到目标位置。为了避免混乱，系统每次只给出一个方向的引导信息。对于每一次导航，首先在垂直方向上进行引导，然后再是水平方向。当笔尖的垂直坐标和水平坐标相同时。一次引导结束。上述操作来回交替进行，即可完成一次绘画任务。

4）系统评估模块。为了验证系统的实用性，邀请了25位蒙眼人、12位盲人和4名接受过专业绘画培训的蒙眼画家使用该绘画导航系统。系统评价维度有：测试者面部的热视频用于评估情感，进而客观评价测试者对系统接受程度；笔尖出现频率的概率分布；笔尖的轨迹；图形绘画任务完成情况；任务完成时间；系统满意度调查问卷。

图 3 蒙眼专业画家使用该系统完成的作品

总结展望

测试实验验证了该系统的有效性。虽然视障者看不见眼前缤纷的世界，但这并不意味着他们无法拿起画笔勾勒出内心的色彩。其实，有些视障人士同样渴望能像达芬奇一样，发挥自己的绘画才能，实现自身艺术创作的需求。曾经，视力上的障碍让梦想离他们如此遥远！如今，该绘画导航系统有望帮助他们实现艺术创造，协助他们画出精彩人生！

参考文献[1] 世界卫生组织. URL: http://www.who.int/mediacentre/factsheets/fs282/en/.[2] 国家统计局，中国统计年鉴[M], 2015.[3] Liu H, Hu M H*, Zhai G T, Huang H J, Zhang Wa, Li Q L, Tian Y H, Shi Y L. Angel Girl of Visually Impaired Artists: Painting Navigation System for Blind or Visually Impaired Painters[C]. In 2019 IEEE International Conference on Visual Communications and Image Processing.[4] Liu H, Hu M H*, Li G D, Li Q L, Zhou X F, Zhang J, Zhai G T. Calligraphy Navigation System for Blind People Based on Visual Prosthesis on Waist Belt[C]. In 2020 IEEE International Conference on Multimedia & Expo Workshops.[5] Liu H, Hu M H*, Chen Y Z, Li Q L, Zhai G T, Simon X. Yang, Zhang X P, Yang X K. Angels Girl for Blind Painters: an Efficient Painting Navigation System Validated by Multimodal Evaluation Approach[J]. IEEE Transactions on Multimedia, 2022, 10.1109/TMM.2022.3146767.

欢迎加入中国图象图形学学会

（http://membership.csig.org.cn ）扫描二维码获取入会流程指南：

中国图象图形学学会科普活动、素材征集通知中国图象图形学学会高校志愿者招募
中国图象图形学学会关于组织开展科技成果鉴定的通知